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摘要 : 光学 和 近 红 外 太阳 爆发 监测 望 


观测 数据 进行 实时 选 帧 处 理 ， 
建 的 质量 。 针 对 实时 观测 过 程 中 的 选 帧 要 求 ， 
帧 实时 处 理 模块 ， 当 前 的 模块 已 经 实现 了 平均 梯度 法 和 谱 比 法 选 帧 两 种 算 
理 。 对 模块 的 实现 进行 了 细致 的 讨论 ， 并 比较 了 两 种 选 帧 方法 的 加 速 比 。 实 验 表明 ， 
日 面 图 像 的 选 帧 总 体 执行 时 间 最 快 为 1.2s， 
局 部 面 图 最 快 为 0.7s， 平 均 提 升 了 5 倍 。 


块 运行 稳定 可 靠 ; 


比 原 有 串 行 实现 提升 了 7 倍 ; 


从 执行 效率 来 看 ， 针 对 近 全 


远 镜 每 天 可 以 获得 大 量 的 太阳 图 像 数据 ， 
一 方面 可 以 减轻 存储 压力 ， 男 一 方面 也 可 以 提高 后 续 图 像 重 


对 这 些 


设计 并 实现 了 一 套 基 于 图 形 处 理 器 的 图 像 选 


当前 性 能 已 经 可 以 满足 实时 观测 与 处 理 的 要 求 。 
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光学 和 近 红 外 太阳 爆发 监测 望远镜 (ONSET) 可 实现 3 个 通道 共 4 个 ; 
部 面 切换 ， 是 一 台 对 发 展 我 
日 望远镜 站。 
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和 所 有 地 基 望 远 镜 一 样 ,为 克服 大 气 满 流 的 影响 ， 获 得 接近 或 者 达到 衍射 极 限 的 
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于 天 文 观测 数据 的 选 
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变换 (Fast Fourier Transform), CUFFT; 另 一 个 是 线性 代数 函数 (Linear Algebra Routine) 库 ， 
其 中 包含 了 基本 线性 代数 子 程序 (Basic Linear Algebra Subprograms, BLAS), CUBLAS. 

在 中 央 处 理 器 主机 和 图 形 处 理 器 设备 的 数据 交互 中 ， 通 常数 据 首先 从 主机 复制 到 设备 
内 存 中 ， 然 后 由 设备 中 的 线程 完成 对 数据 预定 的 操作 ， 并 将 最 后 的 结果 拷贝 返回 主机 。 合 
理 分 配 图 形 处 理 器 设备 中 的 网 格 、 线 程 块 、 每 个 块 的 线程 数量 ， 采 用 众多 线程 尽 可 能 的 达 
到 高 并 行 度 ， 就 可 以 利用 图 形 处 理 器 强大 的 计算 吞吐 量 ， 达 到 选 帧 算法 的 高 性 能 处 理 的 目 
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的 。 文 [8] 研 究 了 太阳 高 分 辨 图 像 重 建 算法 在 图 形 处 理 器 上 的 实现 。 文 [6] 实 现 了 基于 图 形 处 
理 器 并 行 计算 的 Levell 级 重建 程序 ， 使 程序 在 不 改变 原 有 处 理 方式 的 情况 下 将 重建 速度 提 
高 近 30 倍 ， 达 到 了 准 实时 重建 的 效果 。 文 [9] 在 CUDA 环境 下 实现 了 一 个 Ho 全 日 面 云 污染 
实时 识别 和 修复 系统 。 

以 上 分 析 可 见 ， 图 形 处 理 器 并 行 技术 已 经 在 天 文 应 用 开发 中 有 诸多 应 用 ， 为 开发 光学 
和 近 红 外 太阳 爆发 监测 望远镜 观测 数据 中 的 实时 选 帧 功能 提供 了 思路 ， 但 是 针对 光学 和 近 
红外 太阳 爆发 监测 望远镜 具体 产 出 的 数据 特点 及 选 由 要求， 需要 进一步 研究 开发 能 够 适合 
光学 和 近 红 外 太阳 爆发 监测 望远镜 选 帧 算法 的 并 行 实现 技术 ， 从 而 满足 选 帧 的 实时 性 要 求 。 


选 帧 实时 处 理 模块 的 设计 


光学 和 近 红 外 太阳 爆发 监测 望远镜 可 实现 多 通道 多 波段 的 观测 ， 不 同 的 数据 类 型 具有 
不 同 的 图 像 特点 ， 不 同 波段 的 图 像 有 可 能 采用 不 同 的 选 帧 算法 。 为 了 满足 观测 过 程 中 的 实 
时 选 帧 要 求 ， 有 必要 设计 并 实现 一 套 选 帧 实时 处 理 模块 。 

一 般 来 说 ， 在 光学 和 近 红 外 太阳 爆发 监测 望远镜 观测 过 程 中 ， 数 据 选 帧 首先 是 获取 一 
组 待 选 帧 图 像 ， 然 后 通过 图 像 质量 评价 方法 计算 每 帧 图 像 的 评价 值 ， 依 据 评价 值 按照 预期 
的 选 帧 比例 进 i i Mi 


= 


| RSE 
ti oe 


| | aaa | | 


| [ae LL 
ee a 


整 组 积分 
值 


[对 和 由 hi 价值 | | 
ceo | | 


I 

: l 

结束 : ' 
: 1 


图 1 并 行 实现 选 帧 算法 流程 图 


Fig.1 A flow chart of frame selection algorithm for parallel implementation 
在 具体 的 实现 中 ， 如 果 考 虑 到 中 央 处 理 器 和 图 形 处 理 器 的 异 构 特 点 ， 设 计 的 选 帧 算法 
并 行 实现 模块 流程 图 如 图 1. 
在 实现 中 针对 选 帧 算法 设计 的 本 模块 的 步骤 主要 包括 以 下 几 个 功能 流程 : 
C1) 读 取 ee 
(2) 申请 图 形 处 理 器 设备 内 存 ， 找 贝 到 该 组 数据 ; 
(3) 根据 每 图像 的 大 小 计算 设备 执行 核 函数 所 震 线 各 数 
(4) 在 图 形 处 理 器 中 执行 具体 选 帧 算法 逻辑 (后 面 的 实验 中 具体 实现 了 平均 梯度 法 和 
谱 比 法 ) ; 
(5) 对 图 形 处 理 器 计算 的 结果 进行 规约 求 和 ， 结 果 找 贝 回 主机 内 存 ; 
(6) 在 主机 中 ， 根 据 所 求 每 帧 评价 值 ， 对 该 组 数据 进行 快速 排序 ; 
(7) 根据 排序 结果 将 好 帧 (如 评价 值 前 70%) 与 坏 帧 分 开 存 放 到 不 同文 件 目录 。 
表 1 选 帧 实时 处 理 模块 示意 代码 
Table.1 Illustrate code of frame selection real-time processing module 
选 帧 实时 处 理 模块 


int main(){ 
/ 读 取 待 选 帧 数据 
for(i=0;i<sumImg;i++) { 
ReadFitsImg(); // 使 用 cfitsio 库 读 取 到 主机 内 存 
} 
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cudaDeviceProp prop; 
KernelMaxThreadsPerBloc=prop.maxThreadsPerBlock; /获取 设备 每 块 的 最 大 线程 数 
ImgFrameSelection( 帧 数据 ,参数 ); /调用 选 帧 处 理 方法 
} 
void ImgFrameSelection() { 
cudaMalloc((void**)&devAllImg,sizeof(float)*NX*NY *sumImg)); /申请 设备 内 存 
cudaMemcpy(devAllImg,allImg,sizeof(float)*NX*NY *sumImg,cudaMemcpyHostToDevice)); /拷贝 数据 
(NX*NY+ KernelMaxThreadsPerBloc-1)/ KernelMaxThreadsPerBloe; /计算 所 需 线程 块 
KernelFrameSelection<<< 线 程 块 ,每 块 线程 数 >>>(); /有 具体 选 帧 算法 逻辑 
arraySumGpu(); // 规 约 求 和 
// 将 积分 值 找 贝 回 主机 并 关联 文件 名 
for(i=0;i<sumImg;i++) { 
cudaMemepy(&seqSub[i][0],SumResult+i,sizeof(float),cudaMemcpyDeviceToHost); 
seqSub[i][1]=i; 


sooth /快速 排序 

frameSelectionResults(); /完成 选 由 

} 

示意 代码 如 表 1。 为 今后 光学 和 近 红 外 太阳 爆发 监测 望远镜 的 发 展 ， 充 分 考虑 到 其 科 
学 目标 的 变化 、 观 测 终 端的 变化 ， 可 适应 待 选 帧 图 像 特点 ， 具 有 较 强 的 开放 性 和 可 扩展 性 
在 当前 的 模块 实现 中 ， 在 给 图 形 处 理 嚣 分配 线程 数 时 ， 主 要 依据 待 处 理 每 帧 图 像 的 尺寸 ， 
使 每 个 像素 点 可 以 分 配 到 一 个 线程 ， 每 个 线程 对 应 处 理 一 个 灰 度 值 的 计算 ， 整 体 来 看 每 帧 
图 像 的 所 有 像素 点 是 并 行 计算 和 处 理 的 。 其 中 ， 在 图 形 处 理 器 中 执行 的 选 帧 算法 逻辑 部 分 
是 选 帧 的 关键 ， 在 这 个 环节 ， 可 以 根据 待 选 帧 图 像 的 特点 和 选 帧 要 求 ， 灵 活 地 进行 相应 选 
帧 算法 的 选取 ， 然 后 集成 到 未 来 的 光学 和 近 红 外 太阳 爆发 监测 望远镜 数据 处 理 系统 中 。 
总 体 来 看 ， 模 块 实现 尽 可 能 地 优化 了 选 帧 的 执行 效率 ， 有 具有 较 高 的 并 行 度 。 在 对 每 帧 
选 帧 评价 值 规约 求 和 时 ， 利 用 图 形 处 理 器 中 的 共享 内 存 实现 并 行规 约 思想 。 首 先 取得 当前 
图 形 处 理 器 中 每 个 线程 块 所 能 分 配 的 最 大 线程 数 ， 如 果 所 需 计算 的 每 帧 像素 数 小 于 单个 线 
程 块 的 最 大 线程 数 ， 则 分 配 一 个 线程 块 ， 否 则 依据 每 帧 像素 数 计算 需要 分 配 多 少 个 线程 块 
在 计算 每 个 线程 块 内 的 求 和 时 ， 由 于 共享 内 存 缓存 中 的 偏 移 就 等 于 线程 索引 ， 因 此 首先 申 
请 共享 内 存 缓冲 区 所 能 分 配 的 最 大 值 ， 然 后 将 线程 块 内 的 每 个 线程 计算 的 值 保 存在 这 个 组 
冲 区 ， 最 后 对 其 进行 规约 迭代 。 每 个 线程 块 都 按照 这 样 的 策略 同时 运算 ， 就 能 高 效 得 到 整 
组 选 帧 数据 的 评价 值 积分 结果 。 


3. 基于 图 形 处 理 器 的 选 帧 算法 实现 
结合 光学 和 近 红 外 太阳 爆发 监测 望远镜 观测 数据 和 选 帧 算法 的 特点 ， 目 前 实现 了 一 种 


空域 方法 和 一 种 频 域 方法 即 平均 梯度 法 和 谱 比 法 。 
3.1 平 均 梯 度 
平均 梯度 方法 可 以 体现 图 像 中 物体 的 边缘 和 细节 的 强度 ， 求 平均 梯度 值 的 计算 公式 如 


F: 


其 中 ，M 和 分别 代表 图 像 的 总 行 数 和 总 列 数 ， 为 图 像 中 第 行 中 第 列 的 灰 度 值 ， 根 号 里 面 
代表 了 环 点 与 其 相 邻 的 下 方 点 和 右 侧 点 的 灰 度 值 之 差 的 平方 和 。 

从 (1) 式 可 以 看 出 ， 每 帧 图 像 的 所 有 像素 点 都 要 参与 计算 ， 必 然 带 来 很 大 的 计算 量 。 
sR gee leave i Sa a gare et a 
计算 速度 。 因 此 这 里 对 其 进行 简化 ， 即 只 计算 缩小 一 倍 的 中 心 区 域 。 对 于 一 组 每 帧 尺寸 为 
e 的 太阳 近 全 日 面 图 ， 选 取 中 心 1280*1080 大 小 的 区 域 进行 计算 ;对 于 一 组 每 帧 
尺寸 为 1700*1700 的 太阳 局 部 面 图 ， 选 取 中 心 850*850 大 小 的 区 域 进行 计算 。 
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图 2 并 行 实现 平均 梯度 选 帧 算法 流程 


Fig.2 A flow chart of average gradient frame selection algorithm for parallel implementation 


图 


平均 梯度 法 使 用 图 形 处 理 器 并 行 加 速 的 情况 下 ， 针 对 每 帧 图 像 的 全 域 计 算 平 均 梯 度 值 ， 
在 算法 的 并 行 实现 中 ， 每 个 线程 主要 参与 计算 以 下 几 步 ， 如 图 2。 关 键 核 函 数 的 示意 代码 ， 
如 表 26 
(1) 判断 当前 行列 是 否 越界 ， 计 算 当 前 行列 对 应 的 像素 点 与 其 下 方 点 的 灰 度 值 之 差 的 
平方 ; 
C2) 计算 当前 行列 对 应 的 像素 点 与 其 右 侧 点 的 灰 度 值 之 差 的 平方 ; 
(3) 将 上 述 两 个 平方 之 和 除 以 2 再 求 均值 。 
表 2 平均 梯度 选 帧 算法 关键 核 函数 示意 代码 
Table.2 Illustrate code of average gradient frame selection algorithm for key kernel function 
平均 梯度 选 帧 算法 关键 核 函 数 
__global__ void GetGradient(float *devAllImg, int sumImg, int NX, int NY, float **Gradient) { 
int tid = threadIdx.x + blockIdx.x * blockDim.x;// 线 程 号 
if{tid<NX*NY){ 
row = tid / NY ;/ 线 程 对 应 原 图 像 中 的 行 号 
column = tid - row * NY ;/ 线 程 对 应 原 图 像 中 的 列 号 
/每 个 线程 对 应 计算 所 有 图 的 相同 位 置 ， 包 、fL、 也 为 当前 点 与 其 相 邻 点 灰 度 值 
for (int k = 0; k < sumImg; k++) { 
if(row<NX-1 && column<NY-1){ 
// 行 方向 的 梯度 值 
rowDirection = (fil - f0)*(fil - f0); 
// 列 方向 的 梯度 值 
columnDirection = (fj1 - f0)*(fj1 - f0); 
/每 个 点 的 梯度 值 
Gradient[k][(trow)*NY+(column)] = sqrt( ( columnDirection + rowDirection) / 2) ; 


} 


} 
} 
} 


2 谱 比 法 
谱 比 法 选 帧 的 主要 原理 是 以 目标 区 域 功率 谱 的 强 弱 进行 选 帧 评价 。 其 主要 思路 是 将 每 
帧 图 像 的 功率 谱 与 该 组 图 像 序列 中 所 有 的 图 像 的 平均 功率 谱 进 行 归 一 化 处 理 ， 将 相关 目标 
的 量 消除 ， 之 后 在 目标 图 像 的 频段 上 进行 积分 ， 以 积分 值 的 大 小 作为 选 帧 比较 的 依据 ， 
分 值 大 的 图 像 认为 质量 较 好 。 
谱 比 法 需要 使 用 多 次 傅 里 叶 变 换 ， 在 不 使 用 图 形 处 理 器 并 行 加 速 的 情况 下 ， 只 能 采用 
FFTW 库 计 算 快 速 傅 里 叶 变 换 的 操作 ， 由 于 侍 里 叶 变 换 较为 耗 时 ， 对 于 串 行 和 并 行情 况 下 
采取 截取 中 心 区 域 的 方法 ， 即 对 于 近 全 日 面 图 ， 确 定 起 始 行 为 540， 起 始 列 为 640， 终 止 行 
为 1619， 终 止 列 为 1919; 对 于 局 部 面 图 ， 确 定 起 始 行列 为 42$， 终 止 行列 为 1274。 
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Fig.3 A flow chart 


采用 图 形 处 理 器 并 行 加 速 的 情况 下 ， 如 图 


程 如 下 : 


(1) 在 截取 区 域内 ， 每 个 线程 将 对 应 的 每 个 点 的 数据 


数据 类 型 转换 和 图 截取 区 域 加 窗 后 傅 
eR 里 叶 变 换 


求 功率 谱 并 转换 数 
据 类 型 


计算 相对 功率 谱 


RES 
数 点 乘 并 积分 


l 


计算 当前 线程 号 对 
应 点 值 为 0 


图 3 并 行 实现 谱 比 法 选 帧 算法 流程 图 


of spectral ratio frame selection algorithm for parallel implementation 


图 像 数据 类 型 时 对 每 帧 大 图 进行 截取 操作 


(2) 将 截取 区 域 与 窗 函 
变换 ; 


(3) 计算 上 一 步 傅 里 时 


(4) 功率 谱 除 以 零 频 得 到 归 一 化 的 功率 谱 ， 同 时 将 零 旧 


(5) 得 到 该 组 图 像 序列 
(6) 相对 功率 谱 与 环 函 


中 采用 CUFFT ERË FFTW 库 执行 快速 傅 里 叶 变 换 的 操作 。 为 使 


shk 一 结束 


3， 计 算 谱 比 选 帧 评价 值 的 核 函 数 的 处 理 流 


日 实数 转换 为 复数 ， 并 且 在 转换 


数 点 乘 ， 即 为 对 截取 区 域 加 窗 ， 


同时 转换 数据 类 
SUE EN 1; 


变换 后 的 值 ， 获 取 功 率 谱 ， 


计算 相对 功率 谱 ; 


的 归 一 化 功率 谱 的 均值 ， 


数 点 乘 并 积分 ， 得 到 在 目标 频段 上 的 选 帧 评价 值 。 在 并 行 算法 
每 个 线程 对 应 于 图 像 中 


同时 进行 复数 到 复数 的 侍 里 叶 


型 为 实数 ; 


的 一 个 像素 点 ， 同 时 考虑 到 并 行 算 法 中 线程 数 分 配 的 最 优化 原则 ， 这 里 根据 截取 区 域 确定 
核 函 数 分 配 的 线程 数 。 出 于 优化 考虑 ， 这 里 采用 CUBLAS 库 函 数 cublasSscal 求 平 均 功 率 谱 ， 


SS 


Re 


4. 实验 与 性 能 对 比 


为 了 验证 本 文 的 算法 实 
红外 太阳 爆发 监测 望远镜 观 
11MB) 和 4 组 具有 明显 太阳 
1700*1700， 占 用 空间 6MB) 。 


现 ， 进 行 了 全 面 的 实验 。 


| cublasSasum 计算 在 目标 频段 上 的 积分 


测试 数据 共 


测 的 Ho 的 太阳 近 全 日 
活动 的 局 部 像 (前 两 组 为 Ha K, 


$5 组， 包括 1 组 光学 和 近 
mA (每 帧 尺寸 2560*2160， 占 用 空间 
后 两 组 为 白光 图 。 


每 帧 尺寸 


在 选 帧 目标 上 ， 对 每 组 100 帧 的 近 全 日 面 短 曝光 图 挑选 出 


来 最 好 的 70 帧 ， 对 每 组 70 thy 
4.1 平 均 梯 度 


在 平均 梯度 法 不 使 用 选 帧 实时 处 理 模块 图 形 处 理 器 并 行 加 速 的 情况 下 ， 


的 局 部 像 挑选 50 帧 。 


像 的 部 分 区 域 可 以 提升 计算 速度 。 如 图 4， 在 这 种 提升 选 帧 效率 的 方式 下 ， 


时 间 明 显 低 于 全 图 区 域 串 行 时 间 ， 有 平均 3.7 倍 的 提升 。 但 是 ， 


失 部 分 有 效 的 图 像 质 量 评价 信息 ， 势 必 会 影响 选 帧 的 准确 度 。 


Fig.4A 


在 平均 梯度 法 使 


j 选 帧 实时 处 理 模 块 GPU 并 行 加 速 的 情况 下 ， 针 对 每 


到 4 平均 梯度 算法 时 间 比 较 图 


diagram of average gradient algorithm for time comparison 


算 平均 梯度 值 。 如 图 4 所 示 ， 


针对 全 图 计算 的 并 行 算法 仍然 较 只 计算 部 分 


速度 优势 明显 ， 是 全 图 区 域 串 行 时 间 的 6-8 倍 。 
实现 的 并 行 算法 的 执行 效率 明显 优 于 原 有 


块 运行 稳定 可 靠 ， 

性 显著 。 

4.2 谱 比 法 
如 图 $， 


通过 只 计算 图 
部 分 区 域 串 行 


这 种 方式 换 来 的 提升 会 损 


i PRA AT 
区 域 的 串 行 算法 
实验 表明 ， 平 均 梯 度 法 的 选 帧 实时 处 理 模 
行情 况 下 的 执行 效率 ， 有 效 


在 谱 比 法 使 用 选 帧 实时 处 理 模块 图 形 处 理 器 并 行 加 速 的 情况 下 ， 对 于 相同 的 


处 理 区 域 ， 并 行 实现 谱 比 算法 的 执行 效率 明显 优 于 串 行 情况 下 的 执行 效率 。 针 对 近 全 日 面 


0.7s， 平 均 提 升 了 5 倍 。 
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图 像 的 选 帧 总 体 执行 时 间 最 快 为 1.2s， 


比 原 有 串 行 实现 下 提升 了 7 fis 


局 部 面 图 最 快 为 


da-c-programming-guide/index.html 


实验 表明 ， 集 成 谱 比 法 后 ， 本 文选 帧 实时 处 理 模 块 运行 稳定 可 靠 ， 


ChinaXiv 合 


选 帧 效率 提升 明显 。 


5 谱 比 法 算法 时 间 比 较 图 


Fig.5 A diagram of spectral ratio algorithm for time comparison 


5. 结束 语 


本 文 提出 并 实现 一 套 基于 图 形 处 理 器 的 选 帧 实时 处 理 模 块 ， 对 模块 的 设计 和 实现 进行 
了 细致 的 讨论 ， 并 已 经 在 图 形 处 理 器 下 实现 了 平均 梯度 法 和 谱 比 法 的 高 速 并 行 处 理 。 实 验 
模块 取得 了 较 好 的 加 速 比 ， 性 能 已 经 可 以 满足 光学 和 近 红 外 太阳 爆发 监测 望 远 


镜 实 时 观测 与 处 理 的 要 求 ， 为 实时 高 分 辨 图 像 重 建 打 下 了 扎实 的 基础 。 
随 着 光学 和 近 红 外 太阳 爆发 监测 望远镜 数据 处 理 的 需要 和 不 同 科学 研究 工作 的 需要 ， 


在 现 


模块 下 3 步 发 展 ， 研 究 适合 光学 和 近 红 外 太阳 爆发 监测 望远镜 不 同类 型 特点 的 选 


帧 算法 ， 并 实现 和 集成 到 未 来 的 光学 和 近 红 外 太阳 爆发 监测 望远镜 数据 处 理 系统 是 下 一 步 
研究 的 内 容 。 
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Implementation on Image Frame Selection of GPU for ONSET 


Real-time Data Processing 
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Abstract: Optical and Near-infrared Solar Eruption Tracer(ONSET) can get a lot of sun 
image data every day. By real-time frame selection to these observation data, on the one hand can 
reduce the storage pressure, extend the observation time, the other hand can also improve the 
quality of subsequent image reconstruction. In this paper, a set of real-time processing image 
frame selection module based on GPU is designed and implemented for the frame selection in 
real-time observation process, and it has achieved high-speed parallel processing of gradient 
method and spectral ratio method in the module. This paper has discussed the implementation of 
the module in detail, and compared the speed of the two frame selection methods by experiment. 
Experimental results have shown that the module is stable and reliable. From the implementation 
efficiency, the best overall execution time of frame selection for nearly full view image is 1.2 
seconds, and that achieve an elevated seven times more than the original serial implementation. 
For partial view image is 0.7 seconds, and that makes an average increase of five times. 
Implementation and current performance of the overall module have been able to meet the 
requirements of real-time observation and processing. 

Key words: Real-time frame selection; ONSET; GPU 
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